Anphong Nguyễn Hữu Long sinh ngày 25 tháng 1 năm 1953, tại Làng Rùa, xã Thanh Thùy, huyện Thanh Oai, thành phố Hà Nội.[10] Sau khi cậu bé Long ra đời không lâu, gia đình cậu di cư vào miền Nam và quyết định sinh sống tại Đà Nẵng. Gia đình giám mục Nguyễn Hữu Long tổng cộng có ba người là tu sĩ, ngoài giám mục Long còn có người anh làm linh mục chánh xứ giáo xứ Tam Kỳ, giáo phận Đà Nẵng và em út làm linh mục tại giáo phận Regina (Canada). Giám mục Nguyễn Hữu Long đánh giá cha mẹ và anh chị em của mình là những giáo hữu bình thường, ít học, nhưng có lòng tin đối với Thiên Chúa và giữ đạo tốt, gia đình có thói quen tổ chức giờ kinh tối.[11] Song thân cậu từng sinh hoạt tại giáo xứ Tân Phú Hòa, tổng giáo phận Thành phố Hồ Chí Minh trong vòng vài thập niên.[12]

Từ năm 1965 đến năm 1972, cậu bé Nguyễn Hữu Long bắt đầu con đường tu học khi nhập học tại Tiểu chủng viện Thánh Gioan ở Ðà Nẵng. Sau khi học xong Đại chủng viện, chủng sinh Long học Triết học tại Ðại chủng viện Hòa Bình, thuộc Giáo phận Ðà Nẵng cho đến năm 1975. Sau phân môn Triết học, chủng sinh Long tiếp tục theo học Thần học tại Tòa Giám mục Đà Nẵng cho đến năm 1978.[10] Trong thời gian tu học, chủng sinh Nguyễn Hữu Long cũng làm các nghề khác nhau để nuôi sống bản thân như nghề thợ nhuộm, hớt tóc, vấn thuốc lá,... Trong thời gian tu học, gia đình chủng sinh Nguyễn Hữu Long sinh sống cách khó khăn tại vùng kinh tế mới. Anh em chủng sinh Long xin về phụ giúp gia đình, tạm hoãn tu học, nhưng cha mẹ cậu không đồng tình. Cha ông cũng gửi các thư đến các con để động viên việc kiên trì tu học.[11]

Từ năm 1978 đến năm 1982, Nguyễn Hữu Long thi hành nghĩa vụ thanh niên tại công trường thủy lợi Phú Ninh - Quảng Nam trong ba năm rưỡi, sau đó trở về, lặng lẽ tiếp tục tu học và lao động cho đến ngày chịu chức linh mục.[13] Nói về việc lao động tại Công trường Phú Ninh, Nguyễn Hữu Long cho rằng việc lao động trong khoảng thời gian này mang tính "khổ sai" hơn là "vinh quang".[14]